VideoRAE: Taming Video Foundation Models for Generative Modeling via Representation Autoencoders
VideoRAE：基于表示自编码器驯服视频基础模型的高效视频生成
🧭 视频生成 · 潜空间自编码器
The Chinese University of Hong Kong, Shenzhen · Huazhong University of Science and Technology · Shenzhen Loop Area Institute · University of Science and Technology of China
用冻结视频基础模型特征 + 轻量自编码器压缩为连续/离散潜变量，SOTA 生成且收敛快 5 倍
📌 工作参考价值（4 点）
- 利用冻结基础模型特征做生成式推荐物品表示：将预训练视频/图文模型的多尺度语义特征通过轻量投影网络压缩成紧凑潜变量，可类比把商品多模态内容编码为生成式检索的 Semantic ID，省去从零训练 VAE 的成本。
- 表示对齐目标替代 KL 正则化：解码时引入局部/全局与冻结教师模型的对齐损失，能更好地保留语义信息，这种技巧可迁移到推荐系统中用户或物品编码器的蒸馏训练，避免 KL 坍塌。
- 多码本高维量化支持离散 token 生成：VideoRAE 的多码本量化将连续特征离散化为 token 序列，适合自回归生成式推荐（如生成下一物品 token），可参考其码本配置与训练策略。
- 轻量架构实现快速收敛：冻结主干 + 1D 自注意力投影的廉价设计使训练收敛加速约 5 倍，适合业务快速实验与低 GPU 预算场景。